色収差とパープルフリンジに対処する方法と装置

专利摘要:
色収差とパープルフリンジを検知し補正する方法とシステムが開示される。色収差は色平面にイメージを分けて、それから、イメージ取得装置を較正する経験的方法として、特定のキャリブレーション・イメージ(補正)を使用することにより、色収差を縮小するためにこれらを調節することにより対処することができる。パープルフリンジは倍率色収差(LCA)に起因する色収差を最初に対処することにより補正することができる。LCAは最初に削除される。それから、補正はパープルフリンジまで拡大される。発見は、パープルフリンジは色収差の方向に生成され、色収差の方向に、より明白であることによる。
公开号:JP2011507437A
申请号:JP2010538802
申请日:2009-01-28
公开日:2011-03-03
发明作者:ステック，ピオトル；ドリムバレン，アレキサンドル；マレー，ラリー
申请人:テセラ テクノロジーズ アイルランド リミテッド；
IPC主号:H04N9-07

专利说明:

[0001] 本発明は、デジタル画像中の色収差及びパープルフリンジを補正する技術分野に広く関連する。]
背景技術

[0002] 真空以外の任意の媒体の屈折率は、波長に応じて変化する。したがって、すべての屈折させる光学系のガウシアン及び収差特性は波長の関数となり、つまり、色収差が存在する。大きな範囲の波長にわたる使用を意図した多くの最新の屈折させるシステムは、ガウシアン及び高次の両方の色効果によって、根本的に性能が制限されている。天体望遠鏡の設計の歴史は有用な例を提供する。我々が今、色消しダブレットと呼ぶものを構成するために２つのレンズを組み合わせることにより、単レンズの色効果のために補正することができないと彼が考えたので、アイザック・ニュートンは反射望遠鏡を発明した。事実、彼は、すべてのレンズの色効果は、それらの倍率に比例し、異なるガラスでさえ、同じ定数であると考えた。その後、18世紀の中頃に、ジョン・ドロンド及びチェスター・ムーア・ホールは、ニュートンが間違っていることを示し、彼らは色消しダブレットを作った。これにより、ますます大きな望遠鏡用ダブレット対物レンズが作られた。しかしながら、対物レンズがより大きくなり、設計技術が巧みになるとともに、色消しダブレットが色収差が全くないわけではなく、「残留色収差」として知られている残留誤差が現われることが分かった。]
[0003] 上述したように、異なる色の光が媒体中を異なる速度で伝播する場合には、屈折率は波長に依存する。この現象は分散として知られている。よく知られている例は、白色光の入射ビームを虹の色へ分散させるガラスプリズムである。写真用レンズは種々の分散的で誘電性のガラスで構成される。これらのガラスは、入射光線のすべての要素の色を等しい角度で屈折させない、そして、大変な努力が、同じ焦点に色をすべて集める全体的によく調整されたレンズを設計するために要求される。色収差は、分散による完全なイメージングからのそれらの逸脱である。ザイデル収差はモノクロであるが（すなわち、それらがさらに単一の色の光で生じるが）、色収差は、多色光でのみ認められる。]
[0004] 軸上色収差
1つは、2つのタイプの色収差の間に区別できる。縦方向の色収差として知られている軸上色収差(ACA)は、同じ焦点面に異なる色の焦点を合わせるレンズの無力性である。光軸上の被写体ポイントについては、様々な色の焦点は、光軸上にあるが、縦方向(すなわち軸に沿った)に位置がずれる。この振る舞いは、離れた光源に対する図1A-1Bの中で解明される。このスケッチにおいて、緑色光だけがセンサーへの鋭い焦点にある。青色光と赤色光は、センサー面にいわゆる錯乱円を有しており、鋭いイメージを形成しない。図1Bは、軸上色収差の原因を図示する。図1Bは、種々の色の3つの焦点面が一致しないことを示す。]
[0005] 実用例において、イメージの焦点がわずかにずらされる場合の色を変化するイメージ中心の付近にフリンジがある場合には、これはほとんどおそらく軸上色収差である。このタイプは、従来のソフトウェアを使用して修正することができない。もし止められればそれは減少する。また、それは焦点距離に依存する。]
[0006] 倍率色収差
傾斜して入射した光線は、横方向色として知られている横色収差に結びつく。それは横方向にずれた焦点を表す。軸方向色がない状態で、すべての色は同じ面に焦点が合う。しかしながら、イメージ拡大は波長に依存する。複雑なレンズ中の軸方向色の発生は、厳密に可変焦点距離を要求しないが、横方向色の発生は、焦点距離が波長に依存することを示唆する。これは直観に反するように見える。しかしながら、軸上色収差のために修正されたレンズにおいて、主平面は、すべての色に対して一致する必要はない。焦点距離は、後部の主平面からイメージ平面までの距離によって決定されるため、すべてのイメージが、同じ面にある場合でさえ、焦点距離は波長に依存するだろう。図1Cは、倍率色収差の原因を図示する。イメージのサイズは色によって変化する。赤色のイメージは、緑色のイメージ以上に拡大される。また、赤色のイメージ及び緑色のイメージの両方は、青色のイメージ以上に拡大される。まとめると、レンズが軸上色収差のために修正される場合には、異なる色は、光軸において多かれ少なかれ同じ点で焦点を合わせる。しかしながら、それらは軸から異なる距離中で焦点を合わせるかもしれず、異なる色で異なるサイズのイメージが結果として生じる。このタイプは、倍率色収差又は横色収差(TCA)と呼ばれる。]
[0007] 実際的に、中心からコーナーへ漸進的に補足的な有色のフリンジがある場合には、これは最も可能性の高い横色収差である。このタイプは、ソフトウェアによって修正することができる。それは停止することにより変わらない。また、それは焦点距離から独立している。図1Dは、ACAとLCAの発生の比較を示す模式図である。]
[0008] 図1B-1Cは、実際上、軸方向及び横方向の成分が共存するので、2つの単純化されたケースの相違を示す。多色の被写体は、イメージ空間のボリュームを満たす。それは、様々なサイズ及び位置の単色のイメージの連続体で構成される。横方向の色は、望遠写真及び逆望遠写真(レトロフォーカス)レンズにおいて特に明らかである。色収差は、他の方法でよく修正された望遠写真設計の性能をしばしば制限する。色収差の原型の明示は、イメージの暗い部分と明るい部分を分割する境界に沿った色フリンジである。これは、色収差の知覚可能な効果の内容が、印刷物において変化することをいう。後者（軸方向の色）が単に鋭さを縮小する一方で、前者（横方向の色）が有色のフリンジを生じさせるので、横方向の色が、軸方向の色より重大な収差であることが理解される。オーバーコッヘンは、最も顕著な色収差として、軸方向の色に対して異なる見解を有し指摘した。ヘヒトは、白みがかったブラー、又は、ぼんやりしたオーバーラップとして、色収差の蓄積作用について説明する。軸方向の色のための色収差補正を備えた光学系の残余の色誤差は、各イメージ点のまわりのマジェンタハロー、又は、ブラーに結びつく。]
発明が解決しようとする課題

[0009] パープルフリンジ
デジタル画像の他の関連する問題は、パープルフリンジである。このフリンジ効果は、紫色以外の色の場合もあるが、その色に一般に示されるので、パープルフリンジとして一般に知られている。パープルフリンジの強度は、しばしば色収差と関連している。フリンジは、色収差変位ベクトルの方向にしばしば形成される。フリンジの正確な原因は不明であるが、パープルフリンジのより広く受け入れられた説明のうちの1つは、それがセンサーブルーミングの結果であるということである。ブルーミングは、センサー・ピクセルが飽和させられ、1以上の近隣のピクセルにチャージが漏れる場合に発生する現象である。図6A-6Bは、理想的な画像処理システムにおいて、周囲のピクセルが0の値を持つかもしれないが、緑色の値255は、中心ピクセルで予想される一方で、矢印によって示されるような、検出器行又は列に沿ったチャージ漏れが、正しい値を超える赤色及び青色のセンサーの応答を起こしているかもしれないことを図示する。]
[0010] 1つのフォトダイオードの量子井戸から周囲のフォトダイオードの量子井戸へチャージが漏れる場合には、結果は周囲において擬似的に高い信号となる。シーンがこれらの領域において暗いため、周囲のセンサーが信号を生成しない場合には、その擬似的な信号は特に顕著になる。言いかえれば、我々は、光から暗黒までの急な変化において、最も強く焦点ぼけを起こす効果を見ることを予期するかもしれない。レンズ収差は、明るい白色光の青色及び赤色の成分を、正しくないセンサー位置で現われることを引き起こすだろうことが注目される。チャージ漏れは、さらなる真位置からのセンサー・レスポンスの分散により、この効果を拡大し、そして、位置誤差は、デモザイクによってさらに広められる。センサーブルーミングがイメージに現われる影響は、考慮することが可能である。例えば、夜景中の離れた街灯のような暗闇に包まれたシーンの非常に明るい白色点で、このポイントからの光は緑色のセンサーに当たる。したがって、緑色の高い値は、このセンサーで理論上予想され、周囲のセンサーでは最下の値が理論上予想される。]
[0011] しかしながら、矢印によって示された検出器行や列に沿ったチャージ漏れは、正確な値を超えて、以上の赤色及び青色のセンサーのレスポンスを上げるだろう。我々の明るさの認識は、30%赤色に59%緑色と11%青色をプラスしたように荒く評価することが可能である。従って、強められた赤色及び青色の値は、イメージの輝度を増加させることにほとんど寄与しないが、それに紫色の色相を与える。もしポイントからの光が、緑色の代わりに赤色のセンサー上の入射ならば、チャージ漏れは緑色の値を増加させるだろう。これは色相を多少変えているかもしれないが、緑色が明るさの認識に非常に強く寄与するので、主な貢献は明るさの増加になるだろう。(もちろん、同じことは青色のセンサーにも該当する。)したがって、センサーブルーミングは、像のより暗い領域で擬似的な紫色につながり、そして、- 紫色が、赤色と青色の混合を変えることとして一般に定義される場合には-、 効果が実際には確証され、多くの場合パープルフリンジと呼ばれる。図2A-2C、図3A-3D。]
[0012] センサーブルーミングが、レンズ収差及び補間誤差と互いに影響し合うので、同じイメージは、多数の収差色を含んでいることもある。ブルーミング効果の強さは、その原因から予想されるように、輝度に強く依存する。]
[0013] センサーブルーミングは、あらゆるレンズ色収差も増大するため、我々がレンズ収差欠陥を見つけることを期待する場所で、より高いレベルのブルーミング欠陥を見つけることは珍しくない。]
[0014] 1つのフォトダイオードの量子井戸から周囲のフォトダイオードの量子井戸へチャージが漏れる場合には、その結果は周囲において不正に高い信号となる。シーンがこれらの領域において暗いため、周囲のセンサーが信号を生成していない場合には、その擬似的な信号は特に顕著になる。言いかえれば、我々は、光から暗黒までの急な変化において、最も強く焦点ぼけを起こす効果を見ることを予測するかもしれない。レンズ収差は、明るい白色光の青色及び赤色の成分を、正しくないセンサー位置で現われることを引き起こすだろう。チャージ漏れは、さらなる真位置からのセンサー・レスポンスの分散により、この効果を拡大し、そして、位置誤差は、デモザイクによってさらに広められる。センサーブルーミングがイメージに現われる影響は、考慮することが可能である。例えば、夜景中の離れた街灯のような暗闇に包まれたシーンの非常に明るい白色点で、このポイントからの光は緑色のセンサーに当たる。図6A-6Bの中で示されるように、完全な画像処理システムにおいて、我々は、このセンサーに緑色255の値、及び、周囲のセンサーに0の値を予想する。]
[0015] しかしながら、矢印によって示された検出器行や列に沿ったチャージ漏れは、正確な値を超えて赤色及び青色のセンサーのレスポンスを上げるだろう。我々の明るさの認識は、30%赤色に59%緑色と11%青色をプラスしたように荒く評価することが可能である。従って、強められた赤色及び青色の値は、イメージの輝度を増加させることにほとんど寄与しないが、それに紫色の色相を与える。ポイントからの光が、緑色の代わりに赤色のセンサー上の入射の場合には、我々は図の右側に状況を有するだろう。チャージの漏れは、緑色の値を増加させるだろう。これは色相を多少変えているかもしれないが、緑色が明るさの認識に非常に強く寄与するので、主な貢献は明るさの増加になるだろう(もちろん、同じことは青色のセンサーにも該当する)。したがって、我々は、イメージのより暗い領域で、擬似的な紫色につながるセンサーブルーミングを予測し、そして、- 紫色が、赤色と青色の混合を変えることとして一般に定義される場合には- 効果が実際には確証され、しばしばパープルフリンジと呼ばれる。]
[0016] センサーブルーミングが、レンズ収差及び補間誤差と互いに影響し合うので、同じイメージは、多数の収差色を含んでいることもある。図3Eのイメージは極端であるが実際の例である。]
[0017] 図2A-2Cに図示されたように、ブルーミング効果の強さは、その原因から予想されるように、輝度に強く依存する。しかしながら、大きな輝度差がある場合には、効果は、より下の輝度レベルの縮小された程度にまで、存在することが可能である。これは、明瞭で広い紫色-青色の帯域が大きな輝度推移にわたって現われるが推移が小さいところで不在である、次のイメージの中で示される。中間の輝度差があるところに、弱いかろうじて知覚可能な狭い青色帯域を見ることが可能である。センサーブルーミングは、あらゆるレンズ色収差も増大するため、我々がレンズ収差欠陥を見つけることを予想するところで、より高いレベルのブルーミング欠陥を見つけることは珍しくない。イメージのコーナーは、多くの場合それらのエリアにはハイコントラストがある場合に、ブルーミング効果を捜すべき最良の場所である。これに遭遇する共通の場合は、空に対する木の枝である。図3A-3Bは、木の葉の端のまわりのパープルフリンジを有するイメージと、低減された又は除去されたパープルフリンジを備えたイメージの処理されたバージョンとをそれぞれ図示し、図3C-3Dは、バーコードラベルのまわりのパープルフリンジを有するイメージと、低減された又は除去されたパープルフリンジを備えたバーコードラベルイメージの処理されたバージョンとをそれぞれ図示する。]
課題を解決するための手段

[0018] プロセッサで実行される方法は、デジタル画像取得装置内のデジタル画像中の倍率色収差を補正するために提供される。方法は、カメラ・レンズ・ペアをキャリブレーションし、デジタル画像を得ることを含む。倍率色収差はデジタル画像内で補正され、次を含む。(1)一時バッファーに現在のピクセルの変位を見つけて格納すること。上記変位はソースバッファー中の相対位置として指定される。変位値は、一時バッファーの中に補間され格納される。その処理は多数のピクセルに対して実行される。上記方法はさらに、倍率色収差のために補正された補正されたデジタル画像、又は、デジタル画像の処理されたバージョン又はそれらの組合せを出力し、格納し、表示し、投影し、伝送することをさらに含む。]
[0019] 上記キャリブレーションは、テストイメージの測定ポイントを検知し、収差を測定し、分散したデータの補間を含んでよい。上記収差の測定は、しきい値処理を含んでよい。上記キャリブレーションは、第1のディメンションに、第1及び第2のデータ点を見つけて格納し、第１及び第２のデータ点間の空の点に直線補間を適用し、第1の点の値に対して第2の点の値を置換し、第２のディメンションを追加し、1回以上繰り返すことを含んでよい。]
[0020] 上記補間は、シンク・フィルターを適用することを含んでよい。上記シンク・フィルターは、5x5シンク・フィルターでよい。]
[0021] 他のプロセッサで実行される方法は、デジタル画像取得装置内のデジタル画像中の倍率色収差を補正するために提供される。デジタル画像が得られる。補正された値は、赤色(R)及び青色(B)チャンネルのために次のように計算される:]
[0022] R'=R+(G-R)xcorR;B'=B+(G-B)xcorB;]
[0023] ここで、corRとcorBは、それぞれ赤色及び青色チャンネルのための選択された補正比率である。倍率色収差のために補正され、及び/又は、さらに、デジタル画像のバージョンを処理された補正されたデジタル画像は、出力され、格納され、表示され、投影され、及び/又は、伝送される。]
[0024] 選択された補正比率corR及びcorBは、次のように決定されればよい:]
[0025] CorR={CR=0.1xclamp([R(x,y)-RC(x,y)],10)}xCRB;
CorB={CB=0.1xclamp([B(x,y)-BC(x,y)],10)}xCRB;]
[0026] ここで、clamp (.,.) は、第１の項がそれを超過する場合には、第2の項を返す。そして、]
[0027] CRB=1+cos[abs(Rc(x,y)-Bc(x,y))π/200, when abs(Rc(x,y)-Bc(x,y))<200;
CRB=0 when abs(Rc(x,y)-Bc(x,y))<200.]
[0028] G補正を適用することを含んでよい。上記補間は、ピクセル付近を選択し、シングルパス中の方法の実行を含んでよい。]
[0029] 他のプロセッサで実行される方法は、デジタル画像取得装置内のデジタル画像中の倍率色収差を補正するために提供される。デジタル画像が得られる。垂直及び水平のグラディエントは、各色成分のために計算される。補正比率は、ピクセル位置及びイメージセンターによって形成された、色成分グラディエントとベクトルとの内積に基づいて計算される。各補正比率を使用して現在の赤色R及び青色Bの値及び緑色Gの値の間の直線補間を使用して、新しい赤色R'及び青色B'の値が、計算される。倍率色収差のために補正された、及び/又は、 さらにデジタル画像のバージョンを処理された、補正されたデジタル画像は、出力され、格納され、表示され、投影され、及び/又は、伝送される。]
[0030] 補正比率は、以下のように決定されればよい:]
[0031] Rcorr=(x・Gradx(R)+y・Grady(R))/(abs[x2+y2]・Rnorm;and
Bcorr=(x・Gradx(B)+y・Grady(B))/(abs[x2+y2]・Bnorm;where
Rnorm=1+absGrad(G)+max(G,R-min(B,G));and
Bnorm=1+absGrad(G)+max(G,B-min(R,G));where]
[0032] ここで、absGrad(G)は、緑のグラディエント・ベクトルの長さを含む。]
[0033] 新しい赤色R'及び青色B'値は、以下のように決定されればよい:
R'=R・(1-Rcorr)+G・Rcorr;and
B'=B・(1-Bcorr)+G・Bcorr]
[0034] 1つ以上のプロセッサが読取り可能なメディアが、さらに、プロセッサのプログラムのために、コードが埋め込まれて提供され、上及び下に詳述されたデジタル画像中の倍率色収差を補正する方法のうちのすべてを実行する。]
[0035] ポータブルデジタル画像取得装置も、レンズ、イメージセンサー、プロセッサ、及び、プロセッサのプログラムのためにコードが埋め込まれた1以上のプロセッサが読取り可能なメディアが備わり、ここに記述された方法のすべてを実行する。]
図面の簡単な説明

[0036] カラー図面に関する声明
特許又は出願ファイルは、カラーで記載された少なくとも1つの図面を含んでいる。この特許公報又は特許出願公開公報のカラー図面のコピーは、必要な料金のリクエスト及び支払い上のオフィスによって提供されるだろう。]
[0037] 本発明は、以下の記述及び本発明の実施形態を図示するために使用される添付図面を参照することにより最も理解されるだろう。]
[0038] 図1Aは、光の屈折の性質の波長依存性を図示する。図1Bは、軸上色収差の波長依存性を図示し、そこで、集束レンズに投射する光の異なる色のために焦点面は、一致しない。図1Cは、倍率色収差の波長依存性を図示し、そこで、異なる色のためにイメージのサイズは異なる。図1Dは軸上及び倍率色収差を比較して図示する。
図2A-2Cは、パープルフリンジに対する輝度差の影響及びブルーミング効果を図示する。
図3A-3Bは、木の葉の端のまわりのパープルフリンジを備えたイメージ、及び、縮小され又は削除されたパープルフリンジを備えたイメージの処理されたバージョンをそれぞれ図示する。図3C-3Dは、バーコードラベルのまわりのパープルフリンジを備えたイメージ、及び、縮小され削除されたパープルフリンジを備えたイメージの処理されたバージョンをそれぞれ図示する。図3Eは、センサーブルーミングがレンズ収差及び補間誤差と互いに影響し合うことによるイメージを多数の収差色で図示する。
図4Aは、色収差補正のためにキャリブレーションするために使用される試験ターゲットの中央部の群を図示する。図4Bは、黄色の関心領域に囲まれ、印のある赤色の変位及び青色の変位(各々、赤色及び青色の線)を伴う試験ターゲットからのスポットを図示する。図4Cは、白いスポット及びターゲット中の黒丸のまわりの色変位中の倍率色収差を図示する。図4Dは、白いスポットの中、及び、黒丸のまわりで補正された色変位で図4Cの処理されたバージョンを図示する。
図5A-5Bは、焦点距離18mm及び絞り開口F#5のための、緑色チャネルに関して、図5Aの青色及び図5Bの赤色ための色シフトのために計算された色位置合せ不良の大きさを示す収差マップを図示する。
図6A-6Bは、典型的な画像処理システムにおいて、周囲のピクセルが0の値を有し緑色値255が中心ピクセルで期待される一方で、矢印によって示されるような検出器列又はコラムに沿ったチャージ漏れが、正確な値を超えて赤色及び青色センサーのレスポンスを上げるだろうことを図示する。
図7は、特定の実施形態に従うキャリブレーションモジュールの例を図示するブロック図である。
図8は、特定の実施形態に従う補正モジュールの例を図示するブロック図である。
図9は、特定の実施形態に従うパープルフリンジ補正処理の例を図示するフローチャートである。]
実施例

[0039] フリンジ(例えばパープルフリンジ)を含む色収差を検知し補正するためのシステム及び方法が記載される。]
[0040] 特定の実施形態において、色収差は、色平面にイメージを分け、その後、イメージ取得装置をキャリブレーションする経験的方法として、特定のキャリブレーションイメージ(補正図)を使用することにより、色収差を縮小するためにこれらを調節することにより対処される。パープルフリンジも、倍率色収差(LCA)に起因する色収差を最初にアドレスすることにより補正される。LCAは最初に削除され、それから、補正はフリンジまで拡大される。これは、パープルフリンジが色収差の方向に生成され、色収差の方向に、より著しいという発見及び観察によって可能になる。]
[0041] 様々な実施形態のための特別な実施詳細と同様に、色収差とパープルフリンジが様々な実施形態に従ってどのように検知され補正されるかに関して、詳細な説明は続く。]
[0042] 本実施形態は、色収差とパープルフリンジが識別され補正される様々な設定において適用可能である。]
[0043] 色収差
このドキュメントの続く部分は倍率色収差に関係する。特定の実施形態は、キャリブレーションと補正の２つの主要処理を含んでいる。キャリブレーションは、ペア・カメラ/レンズのために実行される。また、補正は、色アーティファクトを削除するためにキャリブレーションデータを使用する。]
[0044] キャリブレーション
キャリブレーションは、特定の実施形態において、測定ポイントの検知を含む。図4Aで図示されたそのようなテストイメージは、白いドットの配列から成り、収差補正のためのものである。図4Bは、印のある赤色の変位及び青色の変位(各々赤色及び青色の線)を伴い黄色の関心領域に囲まれた試験ターゲットの他の例からスポットを図示する。図4Cは、図4Aの試験ターゲット中の黒丸のまわり及び白いスポットの色変位中における倍率色収差を図示する。補正はさらに下に説明されるが、図4Dは、白いスポットの中で、及び、効果を図示する黒丸のまわりにおいて補正された色変位で図４Cの処理されたバージョンを図示する。] 図４
[0045] 図4Aのテストイメージが、例えば、最終イメージの上で撮影される場合には、色収差に起因する色フリンジを備えた白いドットが見られる。チャンネル間の変位の大きさを測定するために、第１にアルゴリズムは、変位が測定される（すなわち白いスポット）イメージの領域を見つけなければならない。特定の実施形態において、ノイズのある黒色の背景及び関心領域を区別するために、検知の一つのステップは、しきい値処理を含む。その後、しきい値処理されたイメージは、白色点の探索でくまなく調べられる。一旦ポイントが見つかれば、アルゴリズムは、見つかったピクセルがスポット又はラインの一部かどうか判断するためにその周囲をチェックする。見つかったピクセルがスポットの一部である場合には、関心のある16x16ピクセル領域は、そのスポットに関して配置され、ROIの下のピクセルはさらなる探索から除外される。すべての見つけられたROIは、ダイナミックリストに対して加えられる。]
[0046] 収差の測定
各ROIについては、160x160ピクセルの一時バッファーは割り当てればよい。その後、バッファーは、現在処理されたROIの下に位置するイメージの拡大された部分で満たされる。直線補間は簡単にするために1つの実施形態の中で使用されてもよく、また、特定の実施形態において、実験で示されたようにこの精度レベルは十分である。次のステップで、各色チャンネルは、RGBチャンネルのスポットに対する適用範囲のマップを生成するために、個々にしきい値処理される。各チャンネルの各スポットについては、量の中心は計算され、RG中心とBG中心の間の変位は、画像のこの位置での収差の大きさとして扱われる。]
[0047] この実施形態において、この計算が、イメージの10x拡大の部分に対して実行されているので、変位は、0.1ピクセル精度で計算される。特定の実施形態に従えば、図5A-5Bは、18mm及びF#5開口の焦点距離のための緑色チャンネルに関して、色移動（例えば、図5Aの中の青色、及び図5Bの中の赤色）のために計算された色位置合せ不良の大きさを決定するために使用されてよい収差マップを図示する。]
[0048] 分散したデータの補間
試験ターゲットとカメラとの間の位置合せ不良、及び、レンズの幾何学的なひずみにより、ポイントの位置(収差はそれのために測定された)を合理的に予測することが可能でないため、それらは、分散したデータ点として扱われる。イメージの各ピクセルに対し、アルゴリズム、は最も近いデータ点を見つけるために、一定の近傍の中で探索されるため、これは補間タスクをより複雑にする。]
[0049] しかしながら、それらが、いくつかの小さなエラーによって歪んだ規則的なグリッドに置くように、データ点の正確な位置は合理的に予測されることが可能ではない。探索領域を縮小するために、次のアプローチが有利に使用されてもよい。]
[0050] ・データ点間の平均距離が評価される。
・データ点は長方形の配列へ編制される。ここで、配列(idxX)のためのインデックスは、小さな値によって縮小された格子間隔(S)で割られたデータ点の最初の位置(x)を使用して計算される。idxX＝x/(S+Δ)。この配列は探索領域を十分に縮小する。
・その後、逆距離加重法(IDW)方法は、処理されたイメージの中のすべてのピクセルの変位を評価するために使用される。より複雑なアルゴリズムは使用されてもよい。しかし、データ値がイメージにわたって徐々に変化している場合、これは十分である。]
[0051] このステップの結果は、イメージに各ピクセルのRGとBGの変位を含んでいるベクトル場である。]
[0052] この補間アルゴリズムの新しい改良版が開発されている。そうすることについて、少なくとも2つの利点がある。すなわち、格納されるデータ・サイズの低減、及び、アルゴリズムの高められた効率である。1つの焦点距離データは、前バージョンにおける180MB以上に対して、188kBのメモリを持てばよい。補間速度における改善は非常に高い。補間は、旧バージョンにおいて10ｓ以上であるのに対して、現行バージョンにおいて約2ｍｓ(記憶サイズに対して)かかる。]
[0053] 新しいアルゴリズムは、変位の値が、イメージに関して徐々に変化するという事実を利用する。また、データ点は完全には任意ではないが、特定の構造を有する。変位の小さなバリエーションのため、すべてのピクセルのためにデータを格納する必要はない。データを備えた配列は特定のファクターだけしぼんでいるかもしれない(実験において16回だった;しかしながら、少なくとも2、4、8及び32も使用されてもよい）。そして、利用可能なデータで満たされる。そのような生成されたマトリックスにおいて、データ点の間の距離は、直線補間の修正されたアルゴリズムを適用するために、十分に小さい。アルゴリズムは、データ点間の変数空間を使用する。データ配列の1つの行のための特定の実施形態によるアルゴリズムの構造の例は、以下のとおりである:]
[0054] 1. 現在の行にデータを含む第1のポイントを見つけて、その値を格納する。
2. データを含んでいる第2の/次のポイントを見つけて、その値を格納する。
3.データ点間の空のポイントに直線補間を適用する。
4. 第1のポイントの値に対して最後のポイントの値を置換する。
5. 2に戻る。]
[0055] 行をすべて満たした後に、有効データポイントを含まない行以外は、演算は、列に対して実行されればよい。]
[0056] 補正されたイメージのサイズに対して変位データのアップサンプリングは、0.5秒未満かかる。]
[0057] この新方式で作成された変位データを使用する補正アルゴリズムの性能は視覚的に、古い補間法と同じ物でよいし、なくともよい。小さな相違は、相違するイメージを計算した後、見出される。しかしながら、古いアルゴリズムは、分散したデータ点の補間に対して正確であると仮定することができない。]
[0058] 図7は、特定の実施形態に従う、キャリブレーションモジュールの例を図示するブロック図である。試験ターゲットイメージは、検知されたキャリブレーション点を見つけるために使用される。これらは収差測定及び補間成分に対して入力として使用される。変位ベクトルは決定され、また、収差マップが格納される。]
[0059] 色収差補正
補正されたイメージの各ピクセルについては、RG及びBGの変位を含む2つのベクトルが利用可能である。RとBの成分は、独立したグレースケールイメージとして扱われる。2つの一時バッファーが、補正されたデータを格納するために生成される。補正処理は、以下のように(1つのチャンネルのために)実行される:]
[0060] ・一時的バッファーに、現在のピクセルのための変位を見つける。
・ソースバッファー上の相対位置として変位を扱う。
・変位が分数になりえるため、5x5シンク・フィルターを使用して、値を補間する。
・一時バッファーへ補間された値を格納する。
・次のピクセルに進む。]
[0061] R及びBチャンネルの両方の補正の後に、それらのデータは一時的バッファーに保存されたデータと取り替えられる。]
[0062] パープルフリンジ(フリンジ)
上に言及されるように、1つの実施形態は、フリンジは色収差の方向に生成され、より高い色収差を備えたエリアにおいてより強いという発見と観察を通じてパープルフリンジに対処する。R及びBの値が変化させられる方法が下記に述べられる。補正比率は、0と1の間で変化することができる。値0は、現在の成分は同じままであることを意味する。一方、値１は、成分がG成分の値を有するだろうことを意味する。例えば、我々が補正比率corRを持っていれば、赤色チャンネルに対する新しい値が、以下のように計算されるだろう:]
[0063] R'=R+(G-R)・corR]
[0064] ここで、R'は新しい成分の値であり、そして、プライム記号のない文字は初期値を示す。]
[0065] 同じことは青色チャンネルに適用される。]
[0066] 補正処理は、赤色及び青色成分のために独立して計算された補正比率によって制御される。補正比率は、2つの項を含む第１の項CRは、色収差補正の前後の成分値間の差に依存する:]
[0067] ]
[0068] ここで、Rは、赤色成分のもとの値であり、Rcは、色収差補正の後の赤色値であり、そして clamp(.,.)は、第1の値がそれを超過する場合に、第2の値を返すクランプ関数である。Bチャネルのための第１の項は、類推的に計算される。この項の値は、0〜1に変化するかもしれない。第2の修正項は、2つのチャンネルに共通し、そして、色収差補正の後のR及びBの値間の差に依存する。この項は、RとBの間の差が小さい紫のシェードに対する補正を制限するこの項は以下のように定義されるかもしれない:]
[0069] ]
[0070] この計算式は、0に等しい差に対して値1で、そして、200以上の差に対して値0で、S形の補正曲線を形成する。それは前計算することができ、値が配列に格納されればよいので、計算式の複雑さは、補正の速度のための意味を有さない。最後の補正項は、色依存の項及びRB差の項の増加によって、特定の実施形態中で計算される:]
[0071] ]
[0072] 補正されたイメージが色破損を有することを防ぐために、補正は下記条件の下で適用される:赤色チャンネルの補正については、G青色チャンネルについてはG]
[0073] 1つの実施形態に従って、データ処理は、デジタル処理システム(DPS)を使用して影響される。DPSは、デジタル画像とビデオを含む複数の様々なタイプのデジタル情報を格納し、処理し、かつ通信するように構成される。]
[0074] 上に説明されるように、実施形態はデジタル処理の能力を有するDPS又は装置を使用すればよい。そのようなシステムの典型的な構成は、中央処理装置(CPU)、及び、メインメモリー、スタティックメモリ及び大容量記憶装置に接続したシグナルプロセッサーを含む。メインメモリーは、本発明の演算を遂げるために、様々なアプリケーションを格納してよい。その一方で大容量記憶装置は様々なデジタル・コンテンツを格納してよい。]
[0075] DPSも、入出力(I/O)装置及びオーディオ/ビジュアル装置に接続してよい。CPUは、処理システムに対する情報及び/又は信号処理に使用されてもよい。メインメモリーは、CPUによって使用される情報又は命令(プログラム・コード)の格納のために、ランダム・アクセス・メモリー(RAM)又は他の特定の動的記憶装置でよい。スタティックメモリは、読み取り専用メモリ(ROM)及び/又は、他のスタティックストレージ装置であればよい。CPUによって使用されているかもしれない情報又は命令の格納のために、大容量記憶装置は、例えばハードディスク・ドライブ、光ディスクドライブ、又は、処理システム用の情報又は命令を格納するためのファームウェアであればよい。]
[0076] 図8は、特定の実施形態に従う補正モジュールの例を図示するブロック図である。LCA補正成分に対する入力は、収差を有するイメージ及びカメラ開口及び焦点距離に従う補間を使用した収差マップから生成された補間されたマップを含む。その後、パープルフリンジ補正が施され、補正された像は生成され、格納され、表示され、伝送され、出力される。図9は、特定の実施形態に従う、パープルフリンジ補正処理の例を図示するフローチャートである。赤色と青色のための補正比率が計算される。補正比率は、色収差補正の前後の色成分値間の差に基づいて計算されればよい。補正比率は、0と1の間の範囲の値を有するだろう。その後、色が適切な範囲以内にあるかどうか確認される。これは、破損から、フリンジに属さない色を防ぐ。色が適切な範囲にある場合には、赤色の成分及び青色の成分は、補正比率に従い、緑色の方へスケーリングする。補正比率が0である場合には、成分は変わらない。補正比率が1である場合については、補正された成分は、緑色の成分の値を与えられるだろう。補正された値が格納される。]
[0077] 一般的事項
本発明の実施形態は様々な演算を含んでいることが説明された。処理の多くは、それらの最も基礎的な形式で記述される。しかしながら、本発明の範囲から外れることなく、演算は処理のいずれについても、加えたり削除することができる。本発明の演算は、ハードウェア構成によって実行されてもよいし、計算機に実行可能な命令で具体化されてもよい。そしてそれは、汎用又は特殊目的のプロセッサ、又は、演算の実行のための命令でプログラムされた論理回路を使用すればよい。あるいは、ステップはハードウェアとソフトウェアの組み合わせによって実行されればよい。本発明は、命令を格納した機械が可読の媒体を含めばよいコンピュータープログラム製品として提供されればよい。そしてそれは、本発明によって、処理を実行するようにコンピューター(又は他の電子機器)をプログラムするために使用されればよい。機械可読媒体は、フレキシブルディスク、光ディスク、CD-ROM及び光磁気ディスク、ROM、RAM、EPROM、EEPROM、磁気又は光カード、フラッシュメモリー、又は、電気的命令を格納するのに適した他のタイプのメディア/機械が可読の媒体を含めばよく、しかしながら制限されない。さらに、本発明もコンピュータープログラム製品としてダウンロードされてもよい。ここで、プログラムは、コミュニケーション・セル経由で搬送波又は他の伝播媒体で具体化されたデータ信号として遠隔のコンピューターから要求するコンピューターまで伝送されればよい(例えばモデム又はネットワークの接続)。すべての演算は、同じ中央のサイトで実行されればよい、又は、1つ以上の演算が他で実行されればよい。さらに、処理と方法は印刷上の目的のため、特定の順序で記述された。これらは、そのような順序が必須であることを示唆しない。また、もし特定の順序が必要であることが明らかに説明されなければ、又は、当業者が特定の順序が必要であることを認識しなければ、ステップは異なる順で実行されればよい。]

权利要求:

請求項1
デジタル画像取得装置内のデジタル画像の倍率色収差を補正するプロセッサに実行される方法であって、カメラ・レンズ・ペアをキャリブレーションし、デジタル画像を取得し、一時バッファーに、現在のピクセルのための変位を見つけ、ソースバッファーに相対位置として前記変位を指定し、変位値を補間し、前記一時バッファーに補間された値を格納し、次の1以上のピクセルに対して繰り返し、最後のピクセルの後に終了することを含んで、前記デジタル画像内の倍率色収差を修正し、倍率色収差のために補正された補正されたデジタル画像、又は、デジタル画像のさらに処理されたバージョン、又は、それらの組合せを出力し、格納し、表示し、投影し、伝達する、ことを含むことを特徴とする方法。
請求項2
前記キャリブレーションは、試験イメージの測定ポイントを検知し、収差を測定し、分散したデータを補間する、ことを含むことを特徴とする請求項１に記載の方法。
請求項3
前記収差の測定は、しきい値処理を含むことを特徴とする請求項２に記載の方法。
請求項4
前記キャリブレーションは、第1のディメンションに第1と第2のデータポイントを見つけて格納し、前記第1と前記第2のデータポイント間の空のポイントに直線補間を適用し、第1のポイントの値に対して第2のポイントの値を置換し、第2のディメンションをインクリメントし、1回以上繰り返す、ことをさらに含むことを特徴とする請求項２に記載の方法。
請求項5
前記補間は、サインフィルタを適用することを含むことを特徴とする請求項１に記載の方法。
請求項6
前記サインフィルタは5x5サインフィルタを含むことを特徴とする請求項５に記載の方法。
請求項7
デジタル画像取得装置内のデジタル画像の倍率色収差を補正する、プロセッサに実行される方法であって、デジタル画像を取得し、赤色(R)及び青色(B)チャンネルに対する補正された値を以下の数式１のごとく計算し、倍率色収差のために補正された補正されたデジタル画像、又は、デジタル画像のさらに処理されたバージョン、 又は、それらの組合せを出力し、格納し、表示し、投影し、伝達する、ことを含むことを特徴とする方法。（数式１）R'=R+(G-R)xcorR;B'=B+(G-B)xcorB;ここで、corRとcorBはそれぞれ、前記赤色及び前記青色チャンネルのために選択された補正比率である。
請求項8
前記選択された補正比率corRとcorBは以下の数式２を含むことを特徴とする請求項７に記載の方法。（数式２）CorR={CR=0.1xclamp([R(x,y)-RC(x,y)],10)}xCRBCorB={CB=0.1xclamp([B(x,y)-BC(x,y)],10)}xCRBここで、第1の項がそれを超過する場合には、clamp (.,.)は、第2の項を返す。CRB=I+cos[abs(Rc(x,y)-Bc(x,y))π/200, abs(Rc(x,y)-Bc(x,y))<200の場合。CRB=0 abs(Rc(x,y)-Bc(x,y))<200の場合。
請求項9
G補正を適用することをさらに含むことを特徴とする請求項８に記載の方法。
請求項10
前記補間は、ピクセル付近を選択し、シングルパス中の方法を実行することを含むことを特徴とする請求項１に記載の方法。
請求項11
デジタル画像取得装置内のデジタル画像の倍率色収差を補正するプロセッサで実現される方法は、デジタル画像を取得し、各色成分に対して垂直及び水平グラディエントを計算し、ピクセル位置及びイメージセンターによって形成された色成分グラディエントとベクトルの間の内積に基づいて補正比率を計算し、各補正比率を使用して現在の赤色R及び青色Bの値及び緑色Gの値の間の直線補間を使用して、新しい赤色R'及び青色B'の値を計算し、倍率色収差のために補正された補正されたデジタル画像又は、デジタル画像のさらに処理されたバージョン、又は、それらの組合せを出力し、格納し、表示し、投影し、伝達する、ことを含むことを特徴とする方法。
請求項12
前記補正比率は、以下の数式３を含むことを特徴とする請求項１１に記載の方法。（数式３）Rcorr=(x・Gradx(R)+y・Grady(R))/(abs[x2+y2]・RnormBcorr=(x・Gradx(B)+y・Grady(B))/(abs[x2+y2]・Bnormここで Rnorm=1+absGrad(G)+max(G,R-min(B,G));Bnorm=1+absGrad(G)+max(G,B-min(R,G));ここで absGrad(G)は、緑色のグラディエントベクトルの長さを含む。
請求項13
前記新しい赤色R'及び青色B'の値は、以下の数式４を含むことを特徴とする請求項１２に記載の方法。（数式４）R'=R・(l-Rcorr)+G・RcorrB'=B・(l-Bcorr)+G・Bcorr
請求項14
請求項１から１３のいずれかの記載の方法による、デジタル画像の倍率色収差を補正する方法を実行するために、プロセッサのプログラムのためのコードを埋め込まれた1つ以上のプロセッサに読取り可能なメディア。
請求項15
レンズ、イメージセンサー、プロセッサ、及び、デジタル画像の倍率色収差を補正する方法を実行するために、前記プロセッサのプログラムのためのコードを埋め込まれた1以上のプロセッサが読取り可能なメディアを含む、ポータブルデジタル画像取得装置であって、カメラ・レンズ・ペアをキャリブレーションし、デジタル画像を取得し、一時バッファーに現在のピクセルのための変位を見つけ、ソースバッファーの相対位置として前記変位を指定し、変位の値を補間し、前記一時バッファーに補間された値を格納し、次の1以上のピクセルに対して繰り返し、最後のピクセルの後に終了することを含んで、前記デジタル画像の倍率色収差を補正し、倍率色収差のために補正された補正されたデジタル画像を、又は、デジタル画像のさらに処理されたバージョン、又は、それらの組合せ出力し、格納し、表示し、投影し、伝達する、ことを含むことを特徴とする方法。
請求項16
レンズ、イメージセンサー、プロセッサ、及び、デジタル画像の倍率色収差を補正する方法の実行のため、前記プロセッサのプログラムのためのコードを埋め込まれた1以上のプロセッサで読取り可能なメディアを含むポータブルデジタル画像取得装置であって、前記方法は赤色(R)及び青色(B)のチャンネルに対する補正値を以下の数式５のように計算することを含むことを特徴とする方法。（数式５）R'=R+(G-R)xcorR;B'=B+(G-B)xcorB;ここで、corR及びcorBはそれぞれ、前記赤色及び前記青色のチャンネルのための選択された補正比率である。
請求項17
レンズ、イメージセンサー、プロセッサ、及び、デジタル画像中の倍率色収差を補正する方法を実行するために、プロセッサのプログラムのためにコードが埋め込まれた1以上のプロセッサに読取り可能なメディアを含むポータブルデジタル画像取得装置であって、デジタル画像を取得し、各色成分の垂直及び水平のグラディエントを計算し、ピクセル位置及びイメージセンターによって形成された色成分グラディエントとベクトルとの間の内積に基づいて補正比率を計算し各補正比率を使用して現在の赤色R及び青色Bの値及び緑色Gの値の間の直線補間を使用して、新しい赤色R'及び青色B'の値を計算する、ことを含むことを特徴とする方法。